Phân tích nhóm là gì? Các công bố khoa học về Phân tích nhóm

Phân tích nhóm là gì?

Phân tích nhóm (cluster analysis) là một phương pháp thống kê và học máy không giám sát, dùng để phân loại các đối tượng quan sát (dữ liệu) thành các nhóm riêng biệt sao cho các đối tượng trong cùng một nhóm có đặc điểm tương đồng với nhau hơn là với các đối tượng thuộc nhóm khác. Quá trình này không dựa vào nhãn có sẵn mà phát hiện các cấu trúc tiềm ẩn trong dữ liệu.

Trong phân tích nhóm, mỗi cụm được xem là một tập hợp dữ liệu có chung tính chất hoặc xu hướng. Mục đích chính là tối đa hóa sự đồng nhất nội nhóm và tối thiểu hóa sự tương đồng giữa các nhóm khác nhau. Phân tích nhóm không đưa ra dự đoán, mà nhằm khám phá và hiểu bản chất dữ liệu một cách khách quan.

Phân tích nhóm được sử dụng rộng rãi trong nhiều lĩnh vực như phân khúc thị trường, phân loại hình ảnh, phân tích dữ liệu gen, nhận diện hành vi người dùng, và khai phá dữ liệu (data mining). Ví dụ, trong marketing, doanh nghiệp sử dụng phân nhóm để tách khách hàng thành các phân khúc có hành vi tiêu dùng tương tự để tối ưu hóa chiến lược tiếp thị.

Mục tiêu và nguyên lý của phân tích nhóm

Phân tích nhóm nhằm xác định các cụm dữ liệu sao cho tính tương đồng nội nhóm là cao nhất và sự khác biệt giữa các nhóm là lớn nhất. Nguyên lý cốt lõi là tối ưu hóa hàm mục tiêu đại diện cho khoảng cách nội nhóm và khoảng cách giữa các nhóm. Tùy theo thuật toán, mục tiêu này có thể được cụ thể hóa theo nhiều cách khác nhau.

Để đo lường sự tương đồng hoặc khác biệt, các hàm khoảng cách hoặc độ đo tương đồng được sử dụng. Phép đo khoảng cách phổ biến nhất là khoảng cách Euclid, được tính bằng công thức:

$d(x, y) = \sqrt{\sum_{i=1}^{n}(x_i - y_i)^2}$

Các phép đo khác như khoảng cách Manhattan, khoảng cách Mahalanobis, hoặc hệ số tương quan Pearson được áp dụng tùy thuộc vào tính chất dữ liệu (định lượng, định tính, chuẩn hóa hay không). Lựa chọn độ đo phù hợp là yếu tố quyết định hiệu quả phân nhóm.

• Khoảng cách Euclid: dùng cho dữ liệu định lượng, đã chuẩn hóa.
• Khoảng cách Mahalanobis: hiệu quả với dữ liệu có tương quan cao giữa các biến.
• Hệ số tương quan Pearson: thích hợp với dữ liệu thời gian hoặc dạng chuỗi.

Một thuật toán phân nhóm lý tưởng phải cho ra cụm có hình dạng hợp lý, không quá nhạy cảm với nhiễu, và có khả năng mở rộng với dữ liệu lớn.

Các phương pháp phân tích nhóm phổ biến

Các thuật toán phân tích nhóm có thể chia thành nhiều loại dựa trên cách tiếp cận: phân nhóm phân chia (partitioning), phân cấp (hierarchical), mật độ (density-based), hoặc mô hình xác suất (model-based). Mỗi phương pháp có đặc điểm riêng về cách xây dựng cụm, yêu cầu đầu vào và khả năng diễn giải kết quả.

• K-means clustering: thuật toán phổ biến nhất, chia dữ liệu thành K cụm bằng cách tối thiểu hóa tổng bình phương khoảng cách đến tâm cụm (centroid).
• Hierarchical clustering: xây dựng cây phân cấp cụm (dendrogram) bằng cách gộp từng điểm dữ liệu lại với nhau theo mức độ tương đồng hoặc chia tách cụm theo chiến lược top-down.
• DBSCAN: xác định cụm dựa trên mật độ điểm dữ liệu; không yêu cầu xác định số cụm trước, có khả năng phát hiện nhiễu.
• Gaussian Mixture Model (GMM): giả định dữ liệu được tạo thành từ tổ hợp các phân phối chuẩn và sử dụng thuật toán kỳ vọng-tối đa (EM) để ước lượng.

Bảng sau tóm tắt một số đặc điểm so sánh:

Thuật toán	Cần biết số cụm trước?	Xử lý nhiễu?	Giả định cụm
K-means	Có	Không	Hình cầu, đồng đều
Hierarchical	Không (nhưng cần cắt cây)	Không	Không giả định cụ thể
DBSCAN	Không	Có	Cụm mật độ cao
GMM	Có	Gián tiếp	Phân phối chuẩn

Việc lựa chọn thuật toán phù hợp phụ thuộc vào loại dữ liệu, quy mô, hình dạng cụm kỳ vọng và mục tiêu phân tích cụ thể.

Các bước thực hiện phân tích nhóm

Quá trình phân tích nhóm cần được triển khai theo một chuỗi các bước chặt chẽ để đảm bảo kết quả đáng tin cậy và có thể giải thích. Việc bỏ qua hoặc thực hiện không đầy đủ bất kỳ bước nào cũng có thể dẫn đến cụm không có ý nghĩa hoặc bị nhiễu dữ liệu.

1. Tiền xử lý dữ liệu: loại bỏ hoặc ước lượng giá trị thiếu, chuẩn hóa dữ liệu (z-score, min-max), và chọn các biến đầu vào có tính phân loại cao.
2. Chọn thuật toán: quyết định dựa trên kích thước dữ liệu, mục tiêu cụ thể, và khả năng giải thích kết quả.
3. Xác định số cụm (K): với các thuật toán như K-means hoặc GMM, K là tham số bắt buộc. Sử dụng các phương pháp như Elbow, Silhouette hoặc BIC để chọn giá trị phù hợp.
4. Huấn luyện thuật toán: chạy thuật toán phân nhóm trên dữ liệu đầu vào.
5. Đánh giá và diễn giải: sử dụng các chỉ số đánh giá (Silhouette, Davies-Bouldin, v.v.) và kiểm tra tính nhất quán với đặc điểm dữ liệu gốc.

Ví dụ, phương pháp Elbow dựa trên đồ thị biểu diễn tổng phương sai nội nhóm theo số cụm K. K tại “khuỷu” (elbow) của đồ thị là số cụm tối ưu.

$WSS = \sum_{k=1}^{K} \sum_{x_i \in C_k} \|x_i - \mu_k\|^2$ trong đó $\mu_k$ là centroid của cụm $C_k$

Các phần mềm và thư viện như Python (scikit-learn), R (cluster, factoextra), SPSS và SAS đều hỗ trợ các bước này một cách tích hợp.

Tiêu chí đánh giá chất lượng phân nhóm

Sau khi thực hiện phân tích nhóm, việc đánh giá chất lượng phân cụm là bước không thể thiếu để xác nhận mức độ hợp lý của kết quả. Không giống như các mô hình học có giám sát, phân nhóm không có nhãn đúng để so sánh, do đó phải sử dụng các tiêu chí nội tại (internal validation) hoặc ngoại tại (external validation nếu có nhãn bổ sung).

Các chỉ số đánh giá nội tại phổ biến bao gồm:

• Silhouette Coefficient (hệ số Silhouette): đo độ chênh lệch giữa khoảng cách trung bình trong cụm và ngoài cụm. Giá trị dao động từ -1 đến 1. Giá trị gần 1 thể hiện phân nhóm rõ ràng.
• Davies-Bouldin Index: đánh giá sự tương tự giữa các cụm. Giá trị càng thấp càng tốt.
• Dunn Index: tỷ lệ giữa khoảng cách nhỏ nhất giữa các cụm và đường kính lớn nhất trong cụm. Giá trị cao là tốt.

Bảng tổng hợp các chỉ số:

Chỉ số	Thang đo	Giá trị tối ưu	Diễn giải
Silhouette	-1 đến 1	→ 1	Phân nhóm tốt nếu gần 1
Davies-Bouldin	≥ 0	→ 0	Cụm càng riêng biệt càng tốt
Dunn	> 0	Cao	Tách biệt cụm và đồng nhất nội cụm

Để trực quan hóa phân nhóm, các biểu đồ như t-SNE, PCA hoặc heatmap thường được sử dụng, giúp kiểm tra khả năng tách cụm trên không gian 2D hoặc 3D.

Ứng dụng trong nghiên cứu và công nghiệp

Phân tích nhóm được sử dụng trong đa dạng lĩnh vực để phát hiện mẫu (patterns), xác định cấu trúc dữ liệu và phân khúc đối tượng. Trong tiếp thị, nó giúp chia nhóm khách hàng theo hành vi, sở thích hoặc tiềm năng chi tiêu. Trong y học, các thuật toán clustering được dùng để phân loại bệnh nhân theo đặc điểm sinh học hoặc lâm sàng nhằm cá nhân hóa điều trị.

• Marketing: phân khúc thị trường, gợi ý sản phẩm, lập kế hoạch khuyến mãi.
• Y sinh: phân nhóm gene, biểu hiện protein, chẩn đoán phân nhóm bệnh.
• Ngôn ngữ tự nhiên: phân nhóm văn bản, tách chủ đề.
• Viễn thông: phát hiện hành vi bất thường hoặc gian lận thuê bao.

Ví dụ, một nghiên cứu đăng trên NCBI sử dụng phân nhóm gene để phân loại bệnh nhân ung thư vú thành các nhóm có tiên lượng khác nhau, giúp cải thiện chiến lược điều trị và dự báo kết quả lâm sàng.

Hạn chế của phân tích nhóm

Mặc dù là công cụ mạnh mẽ trong phân tích dữ liệu, phân nhóm cũng tồn tại nhiều hạn chế. Một trong những thách thức lớn nhất là xác định số cụm K tối ưu – không có quy tắc tuyệt đối và phụ thuộc nhiều vào đặc điểm dữ liệu. Các thuật toán như K-means có thể cho kết quả sai lệch nếu cụm không có hình cầu hoặc có kích thước không đồng đều.

Phân tích nhóm cũng nhạy cảm với dữ liệu nhiễu và outlier. Ví dụ, DBSCAN có thể xác định được nhiễu, nhưng dễ nhầm lẫn cụm có mật độ thấp. Hierarchical clustering thì không dễ mở rộng với dữ liệu lớn do chi phí tính toán tăng nhanh.

• Không có tiêu chí thống nhất cho “cụm tốt”.
• Dễ bị ảnh hưởng bởi lựa chọn độ đo khoảng cách.
• Khó giải thích cụm trong dữ liệu phi cấu trúc hoặc có nhiều chiều.

Giải pháp thường là kết hợp nhiều thuật toán, sử dụng các phương pháp giảm chiều và kiểm tra độ ổn định kết quả bằng nhiều lần chạy (stability analysis).

So sánh với các phương pháp học máy khác

Phân tích nhóm thuộc nhóm phương pháp học không giám sát, khác với phân loại (classification) và hồi quy (regression) vốn yêu cầu dữ liệu có nhãn (labelled data). Phân loại tìm nhãn dự đoán cho dữ liệu mới, trong khi hồi quy dự đoán giá trị số. Phân nhóm thì tìm cấu trúc nội tại mà không cần thông tin trước.

Bảng so sánh:

Đặc điểm	Phân nhóm	Phân loại	Hồi quy
Dữ liệu đầu vào	Không nhãn	Có nhãn (categorical)	Có nhãn (liên tục)
Đầu ra	Cụm	Nhãn lớp	Giá trị số
Ví dụ thuật toán	K-means, DBSCAN	SVM, Random Forest	Linear, Ridge Regression

Một điểm cần lưu ý là phân nhóm có thể được sử dụng như bước tiền xử lý trong các bài toán có giám sát, ví dụ: phân nhóm trước khi xây dựng mô hình phân loại, từ đó cải thiện độ chính xác.

Hướng phát triển và cải tiến

Với sự phát triển của học sâu (deep learning) và dữ liệu lớn, các hướng nghiên cứu mới về phân nhóm đang mở ra nhiều triển vọng. Phân nhóm bằng mạng nơ-ron (deep clustering) kết hợp khả năng học đặc trưng và tách cụm hiệu quả hơn so với thuật toán cổ điển.

Phân nhóm mờ (fuzzy clustering) là hướng đi khác, cho phép một điểm dữ liệu thuộc nhiều cụm với xác suất khác nhau, phản ánh tính linh hoạt trong dữ liệu thực tế. Ngoài ra, các thuật toán phân nhóm theo luồng dữ liệu (stream clustering) đang được phát triển để xử lý dữ liệu thời gian thực.

• Autoencoder + K-means: kết hợp giảm chiều và phân cụm.
• Fuzzy C-means: phân cụm với phân bố mờ.
• DEC (Deep Embedded Clustering): mạng học biểu diễn và phân cụm đồng thời.

Các thư viện như Scikit-learn, PyTorch, Keras hỗ trợ triển khai nhiều mô hình clustering truyền thống và hiện đại.

Tài liệu tham khảo

1. Scikit-learn: Clustering Algorithms
2. Applications of Cluster Analysis in Genomics – PMC6534347
3. Clustering Evaluation Metrics – Towards Data Science
4. Advances in Deep Clustering – JMLR
5. Introduction to Statistical Learning – Chapter 10